((Traduction automatisée par Reuters à l'aide de l'apprentissage automatique et de l'IA générative, veuillez vous référer à l'avertissement suivant: https://bit.ly/rtrsauto)) par Deepa Seetharaman
OpenAI affirme devoir ralentir le développement de ses modèles afin de réexaminer ses propres pratiques en matière de sécurité. Mais cela n’a pas empêché le créateur de ChatGPT de lancer, la même semaine, un nouveau modèle d’IA destiné aux adolescents , bien qu’il soit assorti de contrôles de contenu supplémentaires et d’une surveillance parentale.
Si ces contrôles sont clairement identifiables, il est en revanche plus difficile de déterminer si cette même rigueur sera appliquée de manière cohérente au sein d’OpenAI et dans d’autres entreprises spécialisées dans l’IA. OpenAI et son concurrent Anthropic ont récemment révélé que leurs agents – des modèles d’IA qui effectuent des tâches sans pratiquement aucune intervention humaine – s’étaient infiltrés dans les systèmes d’autres entreprises, des aveux qui ont mis le secteur sur le qui-vive.
Les modèles ont trouvé le moyen de sortir d’un environnement de test, puis de détecter des failles dans les systèmes de défense d’autres entreprises.
Empêcher un chatbot de tenir des propos inappropriés à un adolescent et empêcher un agent autonome de s’introduire dans des systèmes auxquels il ne devrait pas avoir accès relèvent d’une même préoccupation fondamentale: une entreprise est-elle réellement capable de contenir ce qu’elle a créé? Appelons cela le monstre de Frankenstein de l’ère de l’IA.
Ce sont précisément ce genre d’incidents qu’une nouvelle étude menée par des experts du secteur s’est attachée à examiner — non pas pour déterminer si les modèles d’IA peuvent se comporter de manière imprévisible, mais pour vérifier si les entreprises qui les développent disposent des mécanismes de confinement, de surveillance et de contrôle nécessaires pour les détecter lorsqu’ils se produisent.
NOS DERNIERS ARTICLES SUR LA TECHNOLOGIE ET L’IA
* Le chiffre d’affaires annuel d’Anthropic dépasse les 65 milliards de dollars, selon une source
* Nvidia va fournir une garantie pouvant atteindre 105 milliards de dollars pour le centre de données d’OpenAI
* Exclusif: la valorisation de l’introduction en bourse d’Anthropic repose sur des prévisions de chiffre d’affaires colossales pour 2028
* Dans un bar de Pékin dédié à l’IA, les pintes sont accompagnées de jetons DeepSeek
* Exclusif: dans les coulisses des changements au sein de la direction de Google qui ont conduit à un important remaniement dans le domaine de l’IA
LA SÉCURITÉ PASSE AU SECOND PLAN
Le bilan n'est pas reluisant.
Guidelight AI Standards , une association à but non lucratif fondée par deux anciens employés d’OpenAI, a analysé des dizaines de rapports sur les pratiques de sécurité de cinq grandes entreprises technologiques développant des logiciels puissants et leur a attribué, au mieux, des notes à la limite de la moyenne. Meta META.O a obtenu un F.
Dans le cadre de son évaluation, Guidelight a examiné la mise en œuvre par ces entreprises de six pratiques clés, notamment la manière dont elles contrôlent leurs modèles, l’efficacité de leur surveillance et la mesure dans laquelle elles autorisent un examen par des tiers.
Anthropic et OpenAI ont chacune obtenu un C+, ce qui constitue les meilleures notes. Google ( GOOGL.O , filiale d’Alphabet) et xAI, dirigée par Elon Musk, s’en sont sorties de justesse avec respectivement un D+ et un D-.
Google a perdu des points car elle n’a pas encore mis en œuvre ses derniers plans de sécurité, a constaté Guidelight, mais a gagné des points pour le simple fait d’avoir un plan. En revanche, xAI et Meta disposent de peu de plans spécifiques, a relevé l’organisation à but non lucratif.
Dans l’ensemble, ces entreprises ne disposent pas de mesures préventives suffisantes, ce qui signifie que leurs systèmes pourraient être « mis hors service par une IA défaillante ».
Pire encore, cela signifie également que leurs systèmes pourraient s'effondrer sous le poids d'une vague d'attaques.
« Nous avons besoin d’une défense plus active, mais cela coûte plus cher et introduit davantage de frictions », a déclaré Steven Adler, qui, avec Page Hedley, a cofondé Guidelight AI Standards. Adler était chercheur en sécurité chez OpenAI tandis que Hedley était conseiller en matière de politique et d’éthique.
Dans une interview, M. Adler a indiqué que l’absence de contrôles suffisants pourrait, à terme, nuire à la capacité des chercheurs à se sentir suffisamment à l’aise pour mener librement leurs expériences. « Cela peut réduire la confiance dans le système », a-t-il déclaré.
Il a ajouté que ces pratiques devraient être intégrées au processus de développement et ne pas être soumises aux « caprices d’un dirigeant particulier au sein d’une organisation ».
Les entreprises n’ont pas immédiatement répondu aux demandes de commentaires concernant les conclusions de l’étude.
La surveillance — l’une des six pratiques évaluées par Guidelight — fait l’objet d’un test en conditions réelles cette semaine.
Mardi, OpenAI a annoncé qu’elle allait étendre la « surveillance de la chaîne de pensée » à ses modèles. Dans ce scénario, les chercheurs peuvent examiner de près le processus de planification d’un modèle et entrevoir ses stratégies. L’idée est que si le modèle semble dérailler, un autre modèle ou un humain puisse intervenir. Certains législateurs et experts en IA qualifient cela de « kill switch » (interrupteur d’arrêt d’urgence).
Mais certaines recherches préliminaires montrent qu’un modèle pourrait dissimuler ses intentions d’enfreindre les règles au sein de sa chaîne de pensée. Les responsables d’OpenAI ont semblé le reconnaître mardi, affirmant que la surveillance de la « chaîne de pensée » semblait pour l’instant très efficace, mais que les chercheurs continuaient d’étudier activement cette idée.
« S’il devient incroyablement performant, pourra-t-il comprendre de lui-même qu’il doit échapper à toute surveillance? Ou trouvera-t-il peut-être des moyens de désactiver les systèmes de surveillance? », a déclaré Jakub Pachocki, directeur scientifique d’OpenAI, lors d’une conférence téléphonique avec des journalistes.
« C’est une préoccupation tout à fait légitime. »

0 commentaire
Vous devez être membre pour ajouter un commentaire.
Vous êtes déjà membre ? Connectez-vous
Pas encore membre ? Devenez membre gratuitement
Signaler le commentaire
Fermer